import requests
from lxml import etree
def spider1():
    url = 'https://zh.58.com/ershoufang/?PGTID=0d100000-0038-e6c2-63e8-b84e5ec27571&ClickID=1'
    ## 请求第一个页面，获取标题和详细页的url地址
    response = requests.get(url=url,headers=headers).text
    ## 使用lxml.etree格式化
    html = etree.HTML(response)
    ## 使用xpath获取内容
    data = html.xpath('//h2[@class="title"]')
    ## 循环读取
    for da in data:
        ## 使用xpath获取我们想要的标题
        title = da.xpath('./a/text()')[0]
        ## 使用xpath获取我们想要的详细页url地址
        url = da.xpath('./a/@href')[0]
        ## 因为有一半的url地址是没有https://的，所以我们需要做一个判断，加上https，不然会请求失败，因为他并不是一个完整的url地址
        if "https://" not in url:
            url = "https:"+url
        print("当前正在爬取：",title,url)
        ## 进入detail方法处理
        detail(title,url)
        break;
'''
参数：url（详细页的url），title（二手房的标题）
函数功能：使用url请求获取详细页的数据（后面引发同一个ip请求多次被方法，所以并没有写完。）
'''
def detail(title,url):
    ## 使用get请求，获取详细页的内容
    response = requests.get(url=url,headers=headers).text
    ## 使用etree.HTML格式化数据
    html = etree.HTML(response)
    ## 使用xpath获取我们想要的文本内容
    desc = html.xpath('//div[@class="general-item general-desc"]//text()')
    for i in desc:
        print(i.replace("\n",""))

if __name__ == '__main__':
    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36"
    }
    spider1()